腿部运动中的弹簧基于弹簧的执行器可提供能量效率和提高的性能，但增加了控制器设计的难度。尽管以前的作品集中在广泛的建模和模拟上，以找到此类系统的最佳控制器，但我们建议直接在真实机器人上学习无模型控制器。在我们的方法中，步态首先是由中央模式发电机（CPG）合成的，其参数被优化以快速获得可实现有效运动的开环控制器。然后，为了使该控制器更强大并进一步提高性能，我们使用强化学习来关闭循环，以在CPG之上学习纠正措施。我们评估了DLR弹性四足动物BERT中提出的方法。我们在学习小跑和前进步态方面的结果表明，对弹簧执行动力学的开发自然而然地从对动态运动的优化中出现，尽管没有模型，但仍会产生高性能的运动。整个过程在真正的机器人上不超过1.5小时，并导致自然步态。
translated by 谷歌翻译